dgit.raspbian.org Git - git-annex.git/blob

   1 [[!comment format=mdwn
   2  username="yarikoptic"
   3  avatar="http://cdn.libravatar.org/avatar/f11e9c84cb18d26a1748c33b48c924b4"
   4  subject="comment 1"
   5  date="2024-11-13T18:08:59Z"
   6  content="""
   7 At the end (after over a day of torturing that poor bucket, whenever it took just few minutes for `s3cmd sync` to get everything including content) it crashed with
   8
   9 ```
  10 [2024-11-12 22:58:00.366878941] (Remote.S3) Response status: Status {statusCode = 200, statusMessage = \"OK\"}
  11 [2024-11-12 22:58:00.373456754] (Remote.S3) Response header 'x-amz-id-2': 'DGXJztoRJRuHQrcOqs3FtnEUJomRz+53jawFoKoRbKQATcvAppqJcfcAVfR1d8cu7uepkEDvSXo='
  12 [2024-11-12 22:58:00.384304583] (Remote.S3) Response header 'x-amz-request-id': 'W1PSPV7ZSBKJ7HTT'
  13 [2024-11-12 22:58:00.38437407] (Remote.S3) Response header 'Date': 'Wed, 13 Nov 2024 03:50:18 GMT'
  14 [2024-11-12 22:58:00.384436037] (Remote.S3) Response header 'x-amz-bucket-region': 'us-east-2'
  15 [2024-11-12 22:58:00.384486611] (Remote.S3) Response header 'Content-Type': 'application/xml'
  16 [2024-11-12 22:58:00.384533794] (Remote.S3) Response header 'Transfer-Encoding': 'chunked'
  17 [2024-11-12 22:58:00.384581117] (Remote.S3) Response header 'Server': 'AmazonS3'
  18
  19 git-annex: Unable to list contents of s3-dandiarchive: Network.Socket.recvBuf: resource vanished (Connection reset by peer)
  20 failed
  21 [2024-11-12 22:58:00.565431711] (Utility.Process) process [3912839] done ExitSuccess
  22 import: 1 failed
  23
  24 ```
  25
  26 attesting that it is doing something unnecessary -- either listing full bucket (unlikely) or listing all versions of keys under the prefix (e.g. using [ListObjectVersions](https://docs.aws.amazon.com/AmazonS3/latest/API/API_ListObjectVersions.html) instead of [ListObjectsV2](https://docs.aws.amazon.com/AmazonS3/latest/API/API_ListObjectsV2.html)).
  27
  28 It would have been useful if logs included the API call involved here.
  29 """]]